КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 17-72-30003

НазваниеФизические основы самообучающихся адаптивных интеллектуальных систем и их применения в биоморфной и антропоморфной робототехнике

РуководительХрамов Александр Евгеньевич, Доктор физико-математических наук

Организация финансирования, регион Автономная некоммерческая организация высшего образования "Университет Иннополис", Республика Татарстан (Татарстан)

Период выполнения при поддержке РНФ 2017 г. - 2020 г. 

Конкурс№25 - Конкурс 2017 года по мероприятию «Проведение исследований научными лабораториями мирового уровня в рамках реализации приоритетов научно-технологического развития Российской Федерации» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.

Область знания, основной код классификатора 02 - Физика и науки о космосе, 02-402 - Нелинейные колебания и волны

Ключевые словаНелинейная динамика, теория колебаний, динамический хаос, антропоморфная робототехника, адаптивная система управления, искусственные нейронные сети, сложные сети, синхронизация, машинное обучение, нейронаука, эксперимент, экзоскелет, большие данные

Код ГРНТИ29.35.03


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Предлагаемый проект направлен на решение актуальной научной проблемы, лежащей на стыке физики, нелинейной динамики, нейронауки, создания интеллектуальных систем и робототехники, связанной с выявлением и изучением физических процессов, обуславливающих возможности живых организмов к адаптивному управлению моторными системами в условиях сложной и постоянно меняющейся внешней среды, с целью построения на их основе стратегий и конкретных методов интеллектуального управления биоморфными и антропоморфными роботами. Конкретной задачей проекта в рамках указанной выше проблемы является разработка, экспериментальная верификация и практическое внедрение усовершенствованных технологий адаптивного интеллектуального управления биоморфными и антропоморфными роботизированными системами на основе методов и подходов нелинейной динамики в условиях динамически меняющихся условий окружающей среды. Актуальность данной конкретной задачи обусловлена необходимостью повышения уровня автоматизации поведения биоморфных и антропоморфных роботов [Waldron K.J., Tokhi M.O., Virk G.V. Nature-Inspired Mobile Robotics, World Scientific, 2013], их адаптации к внешней динамически меняющейся обстановке, что, в свою очередь, повысит эффективность и расширит возможности их использования в социальной сфере, науке и технологиях, включая промышленное производство [Klimchik A. Efficiency evaluation of robots in machining applications using industrial performance measure // Robotics and Computer-Integrated Manufacturing 48. 12 (2017)] спасательные операции [Hodson H. 2015 preview: Rescue robots go head-to-head // New Scientist 3000 (2014)], ликвидация последствий стихийных бедствий [Nagatani, K. et al. // J. Field Robot. 30, 44–63 (2013)], здравоохранение [Guang-Zhong Yang et al Medical robotics—Regulatory, ethical, and legal considerations for increasing levels of autonomy // Science Robotics 2. 4 (2017)], транспортировку [Mataric M.J. Socially assistive robotics: Human augmentation versus automation // Science Robotics 2. 4 (2017)], освоение космоса [Barfoot T.D., Wettergreen D. Editorial: Special Issue on Space Robotics // J. Field Robot. 33. 2 (2016); Rus D., Tolley M. Design, fabrication and control of soft robots // Nature 521. 467 (2015)], сервисные функции [Sprenger M., Mettler T. Service Robots // Business & Information Systems Engineering, 57. 271 (2015)], что соответствует как мировым тенденциям в использовании антропоморфной робототехники, так и будет способствовать формированию научных и технологических заделов, обеспечивающих экономический рост Российской Федерации за счет освоения новых технологий и рынков. Поставленная задача является масштабной, так как ее решение предполагает использование комплексного подхода, подразумевающего как фундаментальные научные исследования, включающие разработку теоретических основ создания интеллектуальных самообучающихся систем управления, базируясь на численном анализе и экспериментальном радиофизическом исследовании модельных нейроподобных систем и моделирования процессов, обеспечивающих локомоторные функции человека, проведение нейрофизиологических экспериментов и анализ сигналов электроэнцефаллограмм и миограмм человека с целью выявление процессов, отвечающих за взаимодействие человека с окружающими объектами и реализацию двигательной локомоторной активности, так и построение на основе полученной информации интеллектуальной системы управления на основе методов и подходов искусственного интеллекта, ее обучение и тестирование на примере конкретной антропоморфной роботизированной платформы (антропоморфного робота AR-600 производства НПО «Андроидная техника»). В предлагаемом проекте могут быть выделены три больших направления исследований, подчиненных общим целям проекта, сформулированным выше, и объединяющие в себе ряд взаимосвязанных и взаимодополняющих задач. Направление 1. «Развитие теоретических основ построения нелинейно-динамических моделей, самообучающихся адаптивных интеллектуальных систем». Работы в рамках данного направления подразумевают проведение крупномасштабного численного анализа динамики сетей нейроноподобных элементов с различной конфигурацией межэлементных связей с целью выявления закономерностей, отвечающих за образования пространственно-временных структур, их эволюцию, переключения между различными типами динамики, при внешнем воздействии. Выявленные закономерности динамики модельных нейронных сетей будут широко использованы при проектировании интеллектуальных самообучающихся систем автоматического управления. Направление 2. «Анализ и выявление общих механизмов эволюции нейронных связей и переключения между различными паттернами нейронной и мышечной активности человека, обеспечивающих адаптивную моторную активность и пространственную ориентацию при управлении антропоморфными манипуляторами.» Работы в рамках данного направления являются экспериментальными и будут выполняться на уникальном оборудовании, которое имеется в НОЦ "Нелинейная динамика сложных систем" и дополнительно планируется к приобретению у НПО «Андроидная техника» - ведущего производителя антропоморфных робототехнических систем в России. В результате выполнения работ будет создана база данных, содержащая цифровые сигналы электроэнцефалограмм и миограмм вместе с сигналами, содержащими команды для непосредственного управления роботом, которая впоследствии будет использована для обучения интеллектуальных систем управления. Направление 3 «Создание интеллектуальной системы управления биоморфными робототехническими устройствами c возможностью автоматической адаптации к изменяющимся условиям внешней среды» В рамках данного направления планируется разработка интеллектуальной системы, основанной на искусственных нейронных сетях, позволяющей управлять двигательными функциями антропоморфного робота, в том числе, взаимодействовать с движущимися объектами окружения. Разработанная система будет апробирована на реальном антропоморфном роботе AR-600, закупка которого вместе со стендом управления и тренировки будет осуществлена в рамках данного проекта. Научная новизна предлагаемого проекта заключается в анализе и дальнейшем использовании динамических механизмов, обуславливающих возможности живых организмов к адаптивному управлению моторными системами в условиях сложной и постоянно меняющейся внешней среды в качестве основы для построения стратегий и конкретных методов адаптивного управления биоморфными и антропоморфными роботами. Проект должен быть доведен до стадии разработки самообучающейся адаптивной интеллектуальной системы антропоморфного робота, что позволит создать робототехническую платформу, способную действовать в нестандартных ситуациях и обеспечивать локомоторные функции в условиях меняющегося окружения. С учетом этого в предлагаемом проекте будут впервые в комплексе проведены взаимосвязанные исследования, включающие теоретический и численный анализ модельных нейронных сетей, экспериментальные радиофизические и нейрофизиологические исследования, связанные с моделированием и анализом (используя машинное обучение и методы обработки больших данных) активности головного и спинного мозга, а также мышечной активности человека (в том числе и с использованием копирующих экзоскелетов), анализ взаимодействия оператора и антропоморфного робота на принципах биологической обратной связи, проектирование и обучения систем управления мобильным антропоморфным роботом на основе методов и подходов искусственного интеллекта.

Ожидаемые результаты
По итогам выполнения проекта ожидается получение следующих основных результатов: • Будут выявлены закономерности, описывающие адаптивную динамику модельных нейронных сетей, и сформулированы предложения по использованию полученных результатов при проектировании самообучающихся интеллектуальных систем для управления антропоморфными робототехническими системами. • Будет предложена новая модель центрального генератора ритма, основанная на гетерогенном ансамбле осцилляторов, характеризующаяся возможностью переключения генерируемых ритмов, отвечающих сосуществующим устойчивым динамическим режимам ансамбля. Полученная модель ляжет в основу создания интеллектуальной системы, обеспечивающей локомоторную активность антропоморфного робота. • Будет проведен комплекс экспериментальных работ по снятию ЭЭГ-данных человека, дополненных данными мышечной активности, при управлении полноразмерным антропоморфным роботом с помощью копирующего экзоскелета. Будет выявлены характерные сценарии активности головного мозга и мышечной активности, обеспечивающие позиционирование тела человека, моторную активность и взаимодействие с динамическими объектами. • Будет создана структурированная база данных нейронной и мышечной активности человека, полученной во время экспериментов по управлению человеком движениями антропоморфного робота, для обучения систем интеллектуального управления с использованием технологий машинного обучения на базе искусственных нейронных сетей. • Будут спроектированы интеллектуальные системы, основанные на искусственных нейронных сетях и нелинейных динамических моделях, позволяющие в автоматическом режиме управлять верхними и нижними конечностями робота. Для обучения разработанных систем будет использована база данных нейронной и мышечной активности человека, полученная во время экспериментов по управлению человеком движениями антропоморфного робота. Ожидаемые результаты представляют большую научную и общественную значимость, что обусловлено современными мировыми тенденциями ко все большему внедрению робототехнических систем (в том числе антропоморфных) в социальную сферу, науку и производство. Научные исследования в рамках данного проекта будут использовать имеющийся в мире обширный научный и технологический задел в данном направлении, а также непосредственно наработки коллектива, предлагающего данный проект, и на их основе развивать новые усовершенствованные концепции адаптивного интеллектуального управления антропоморфными робототехническими системами как в производстве, так и в сервисных применениях, космической технике, спасательных операциях и т.д. С учетом вышесказанного можно ожидать соответствие заявленных результатов мировому уровню исследований в области интеллектуальных систем, анализа больших данных и робототехники. Полученная по итогам проекта научно-техническая продукция в виде систем интеллектуального управления робототехническими изделиями обладает большим потенциалом для дальнейшего развития и внедрения при разработке робототехнической продукции на научно-производственных предприятиях России, в частности, АО «Завод лабораторного оборудования «Мехатроника и робототехника», являющегося индустриальным партнером проекта, НПО «Андроидная техника», ООО «Акродим», занимающееся разработкой и производством антропоморфных роботов и др. предприятий в России. С учетом этого можно с высокой степенью вероятности ожидать формирования по результатам проекта обширного научно-технологического задела на стыке физики, робототехники и интеллектуальных технологий, который в ближайшем будущем будет внедрен в производство и внесет существенный вклад в экономический рост и социальное развитие Российской Федерации в области прорывных робототехнических технологий. Следует отметить, что предлагаемый проект является уникальным в плане экспериментальных работ, которые планируется провести с использованием оригинальных антропоморфных роботизированных решений. В данном контексте возможность проведения исследований на реальном оборудовании является важной особенностью проекта, определяющей возможность экспериментальной верификации и апробации разработанных решений, что, в свою очередь, существенно сокращает время, необходимое для внедрения полученных результатов в производственный процесс.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2017 году
Разработана модель сети фазовых осцилляторов, топология которой характеризуется двумя масштабами связности – существованием структуры связанных подсетей элементов. В ходе выполнения задачи изучено, как соотношение между топологиями структурных масштабов влияет на динамические режимы, реализующиеся в такой системе, в частности, на реализацию таких специфических режимов как химерное состояние. Показано, что изменение связности подсетей позволяет управлять соотношением размеров синхронного и асинхронного кластера в глобальном кольце осцилляторов и приводит к расширению области реализации химерного состояния. Полученные в рамках данной задачи результаты будут использованы при разработке многомасштабной сети нейронных элементов в контексте создания центрального генератора ритмов. Численно смоделированы однослойные и многослойные нейронные сети на базе модели нейрона Рулькова с синаптическими связями. Внутри каждого слоя все связи являлись возбуждающими, в то время, как между слоями часть связей была возбуждающей, а другая часть – ингибиторной. В данных сетях был обнаружен эффект образования пространственно-временных структур, было изучено влияние на образование этих структур таких параметров, как размеры сети, число стимулируемых нейронов, доли ингибиторных связей между слоями, величины подаваемого на систему стимула и амплитуды внутреннего шума. В зависимости от вышеуказанных параметров было обнаружено явление когерентного резонанса, который может быть использован для адаптивной обработки внешних сигналов нейронной сетью. Разработан новый механизм структурной адаптации в сети отображений Рулькова на основе принципа пластичности, зависящей от времени активации нейрона (spike-timing-dependent plasticity (STPD)). Показано, что разработанная модель адаптивной сети демонстрирует намного более сложную динамику по сравнению с классическим механизмом STPD. Выявлено, что данное различие напрямую связано с типом формирующихся в процессе адаптации структур: введение дополнительного гомеостатического слагаемого в уравнение связей привело к возникновению сильно неоднородных кластеров в структуре и появлению свойства свободного масштабирования, присущего реальным нейронным ансамблям головного мозга. Данные результаты открывают возможность создания генератора ритмов, характеристики которого адаптивно перестраиваются в зависимости от внешних условий. Проведены предварительные экспериментальные исследования, связанные с регистрацией нейронной активности человека во время активного движения для управления антропоморфным протезом руки. Выполнены 56 экспериментальных замеров с условно здоровыми добровольцами. Проведены различные виды анализа данных: спектральный анализ с помощью вейвлет-спектров, кросспектральный анализ, оценка коэффициентов фазовой когерентности, которые позволили предварительно выбрать перспективные для более детального анализа пары сигналов ЭЭГ, а также частотные диапазоны анализа. После выбора параметров методов анализа было проведено исследование направленной связанности, которое позволило выявить значимое отличие разности коэффициентов связи между симметричными отведениями ЭЭГ в противоположных направлениях от фоновых значений для двигательной активности. При помощи мультифрактального анализа изучена структура сигналов ЭЭГ, регистрируемых у нетренированных операторов во время двигательной активности. На основе полученных результатов выделены области мозга, для которых возможно достоверное детектирование различий между сигналами ЭЭГ, регистрируемыми при выполнении движений руки, и фоновыми записями электрической активности головного мозга. Показано, что наибольшая эффективность классификации достигается при использовании записей ЭЭГ, снимаемых в лобных областях мозга. Полученные результаты указывают на перспективу адаптации использованных методов для решения задач построения человеко-машинных интерфейсов. Разработана методика, основанная на машинном обучении, а именно на аппарате искусственных нейронных сетей для распознавания и классификации паттернов на ЭЭГ, соответствующих различным типам движений, которая продемонстрировала высокую эффективность для нетренированных субъектов: точность распознавания до 90-95%. Искусственная нейронная сеть с радиально-базисными функциями показывает наилучшие результаты распознавания и классификации. Предварительная фильтрация входных данных ЭЭГ с использованием фильтра нижних частот значительно повышает точность распознавания (в среднем на 10-20%), при этом фильтр нижних частот с частотой отсечки 4 Гц показывает наилучшие результаты. Показано, что при использовании сигналов из определенных групп электродов, состоящих из 6-12 каналов, точность классификации достигает значения, близкого к максимуму. Последний результат важен с практической точки зрения, поскольку он показывает возможность использования более компактных систем для регистрации сигналов ЭЭГ (с меньшим количеством электродов) при сохранении требуемой точности распознавания. 20-22 ноября 2017 года в СГТУ имени Гагарина Ю.А. состоялась I Международная школа молодых ученых «Динамика сложных сетей и их применение в интеллектуальной робототехнике» (DCNAIR 2017) (http://www.sstu.ru/nauka/konferentsii/dinamika-slozhnykh-setey-i-ikh-primenenie-v-intellektualnoy-robototekhnike-dcnair-2017.html). Школа-конференция стала международной площадкой для обучения и обмена образовательными, научными и техническими идеями между специалистами, в особенности – молодыми учеными и студентами, работающими в области изучения сложных сетей и интеллектуальной робототехники. DCNAIR 2017 способствовала активному научному взаимодействию, как на российском, так и на международном уровне (http://www.sstu.ru/news/uchenye-predstavili-rezultaty-issledovaniy-na-mezhdunarodnoy-ploshchadke-po-intellektualnoy-robotote.html).

 

Публикации

1. Александр Писарчик, Мариано Альберто Гарсия-Веллиска, Райдер Хайме-Реатеги, Франсиско де Позо-Герреро Bistability in Hindmarsh-Rose neural oscillators induced by asymmetric electrical coupling CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 126–130 (год публикации - 2017)

2. Андреев А.В., Макаров В.В., Руннова А.Е., Писарчик А.Н., Храмов А.Е. Coherence resonance in stimulated neuronal network Chaos, Solitons and Fractals, 106, (2018) 80-85 (год публикации - 2018) https://doi.org/10.1016/j.chaos.2017.11.017

3. Андреев А.В., Макаров В.В., Руннова А.Е., Храмов А.Е. Coherent resonance in neuron ensemble with electrical couplings CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 145–148 (год публикации - 2017)

4. Грубов В.В., Мусатов В.Ю., Максименко В.А., Храмов А.Е. Development of intelligent system for classification of multiple human brain states corresponding to different real and imaginary movements CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 103–107 (год публикации - 2017)

5. Фролов Н.С., Короновский А.А., Макаров В.В., Максименко В.А., Горемыко М.В., Храмов А.Е. Control of pattern formation in complex network by multiplexing CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 121–125 (год публикации - 2017)

6. Недайвозов В.О., Макаров В.В., Кирсанов Д.В., Горемыко М.В., Храмов А.Е. Программа для ЭВМ для моделирования динамики многослойной адаптивной кооперативной сети с использованием технологий параллельных вычислений -, - (год публикации - )

7. Недайвозов В.О., Макаров В.В., Кирсанов Д.В., Горемыко М.В., Храмов А.Е. Программа для ЭВМ для моделирования динамики многослойной адаптивной конкурентной сети с использованием технологий параллельных вычислений -, - (год публикации - )

8. Недайвозов В.О., Макаров В.В., Кирсанов Д.В., Храмов А.Е. Программа для ЭВМ для расчёта вейвлет-преобразования ЭЭГ сигнала с использованием параллельных вычислений на базе CUDA NVideo -, 2017618971 (год публикации - )

9. - В Саратовском техническом университете взялись очеловечить робота Телеканал Россия 1, Программа Вести в 11:00 от 12.09.17 (год публикации - )

10. - Саратовские ученые научат роботов сомневаться и принимать решения Сайт Российского научного фонда, 30 августа 2017 г. (год публикации - )

11. - Саратовские ученые получили 120 млн руб. на создание искусственного интеллекта роботов Федеральное государственное унитарное предприятие «Информационное телеграфное агентство России (ИТАР-ТАСС)», 12 июля 2017 г. (год публикации - )

12. - В лабораториях Саратовского техуниверситета установлено новое оборудование Сайт 4science, 5 августа 2017 г. (год публикации - )


Аннотация результатов, полученных в 2018 году
В качестве модели центрального генератора ритма (ЦГР) впервые предложена система, состоящая из активного осциллятора, демонстрирующего квазигармонические автоколебания (модель автогенератора Ван дер Поля) и связанных с ним двух пассивных линейных диссипативных осцилляторов. Сигналы, снимаемые с генератора и контура, используются в качестве сигналов, управляющих движениями ноги в тазобедренном и коленном суставах робота. Режим ЦГР определяет скорость передвижения робота, походку и режим «бег» или «ходьба». Построена математическая модель ЦГР, и с её использованием проведено исследование динамики ЦГР. Обнаружено, что движение по части плоскости параметров внешнего воздействия, соответствующей синхронизации через подавление, позволяет реализовать мягкий переход от одного колебательного режима к другому, что соответствует переключению бег/ходьба. Проведено численное и экспериментальное исследование динамики сети, состоящей из нейроподобных осцилляторов ФитцХью-Нагумо, связанных между собой запаздывающими связями. Создана радиофизическая установка для экспериментального исследования возможности управления колебательными режимами в ансамбле нейроподобных осцилляторов, связанных настраиваемыми связями. Показано, что введение адаптивно управляемой запаздывающей связи позволяет решить задачу синфазной синхронизации неидентичных нейроподобных осцилляторов в широкой области значений управляющих параметров. Для экспериментального исследования автогенератора с мягким возбуждением, моделируемого уравнением Ван-дер-Поля, разработана и построена радиофизическая установка, включающая в себя автогенератор с кубической нелинейностью и два дополнительных колебательных контура, связанных с контуром генератора через емкостную связь. Экспериментально исследована зависимость амплитуды колебаний в основном контуре от емкости конденсатора в основном генераторе, отвечающей за расстройку частот автогенератора и дополнительных контуров. Показано, что, меняя частоту автоколебаний основного генератора, можно управлять мультистабильными колебательными режимами в системе и наблюдать жесткие переходы между ними. В ходе проведенных работ были численно исследованы эффекты синхронизации и формирования пространственно-временных структур в многослойных сетях фазовых и нейроподобных осцилляторов. Было обнаружено и детально исследовано новое явление – макроскопическое химероподобное состояние сети, состоящее в разделении взаимодействующих изначально идентичных слоев сети на подгруппы, демонстрирующие разные динамические режимы. Такие состояния могут быть ассоциированы с состоянием сомнения нейронной сети головного мозга в ходе принятия неоднозначных решений. Проведен анализ нейронной активности головного мозга человека в ходе наблюдения бистабильных изображений и принятия решения относительно их интерпретации. Данные магнитоэнцефалографического эксперимента были обработаны при помощи искусственной нейронной сети, обученной классифицировать состояния восприятия слабо-неоднозначных визуальных стимулов. Были введены объективные критерии для описания процесса обработки информации и принятия решения в ситуации с неоднозначностью выбора. С помощью этих критериев предложен алгоритм для интеллектуальной системы принятия решений на основе обработки внешней сенсорной информации. По результатам выполнения экспериментальной работы согласно разработанному дизайну сформирован массив однородных экспериментальных данных, содержащий в себе наборы многоканальных электроэнцефалографий и миографий, зарегистрированных у 20 условно здоровых испытуемых. Разработан единый алгоритм обработки комплексных массивов электроэнцефалографических (ЭЭГ) и электромиографических (ЭМГ) сигналов. Комплекс обработки основан на выделении двигательной активности человека и её объективной классификации по миографическим сигналам. Показано, что использование методов энергетических и скелетонных оценок непрерывного вейвлетного преобразования позволяет установить точную связь между возникновением мышечной активности (ростом амплитуды ЭМГ) и ЭЭГ-сигналами в сенсомоторной зоне регистрации. Применение метода многомасштабного анализа на основе дискретного вейвлет-преобразования позволяет достоверно различать сигналы электрической активности головного мозга при выполнении движений. Для выделения общих закономерностей, присущих вертикальной позе испытуемых, осуществлялись энергетические оценки основных нейрофизиологических режимов колебательной активности головного мозга человека в моменты осуществления движений различных типов. Для минимизации помеховых компонент, вызванных непроизвольным напряжением шейных и плечевых мышечных групп, предложен специальный алгоритм, включающий в себя отдельную регистрацию сигналов с нескольких электродов, расположенных на задней поверхности мышц, и последующее включение фильтрации на базе расчёта эмпирических мод преобразования Гильберта-Хуанга в моменты повышения уровня амплитуды высокочастотной активности в регистрируемых миографических сигналах, приводящих к специфическому искажению активности головного мозга. Выявлено, что переход к вертикальному положению испытуемого, близкого к естественному, вызывает существенное усложнение частотной структуры динамики электрической активности головного мозга, делая менее выраженной характерную для сенсомоторной коры генерацию высокочастотных колебаний при двигательной активности рук в классических нейрофизиологических пробах. Разработаны методы управления антропоморфным протезом руки с использованием сигналов нейронной активности и мышечной активности при помощи прямой расшифровки биологических сигналов без использования копирующего экзоскелета. Показано, что движение управляющей руки вызывает формирование характерного паттерна на сигнале электрической активности соответствующей мышцы, форма которого сохраняется от одного движения к другому. Это позволяет детектировать точный момент начала движения автоматически при помощи предварительно установленного порогового значения. При этом найдено оптимальное пороговое значение, при котором возможно детектирование 100% движений при 10% ложных детектирований. Показано, что характерные паттерны электрической активности головного мозга могут быть детектированы с точностью 92% и при 5% ложных детектирований. Выявлено, что при выполнении движений в условиях дополнительной внешней стимуляции наблюдается активация лобных областей, что связано с концентрацией внимания на внешнем стимуле. Менее, чем за секунду до начала движения и во время его выполнения, как в случае произвольной двигательной активности, так и в случае дополнительных внешних стимулов наблюдается локальное уменьшение активности 8-12 Гц в левой части центрально-фронтальной коры (для движения правой рукой). При этом в случае присутствия дополнительного внешнего стимула наблюдается сохранение активности в лобных областях и подавление активности 8-12 Гц в затылочной коре, что также свидетельствует о концентрации внимания при обработке сенсорной информации. Создана методика проведения экспериментов по регистрации сигналов активности головного мозга (ЭЭГ) и мышечной активности (ЭМГ) человека при управлении антропоморфным роботом с помощью копирующего экзоскелета. При помощи искусственной нейронной сети (ИНС) и методов частотно-временного анализа выявлены частотные и пространственные свойства паттернов нейронной активности при генерации моторных команд для управления движениями ног робота. Показано, что наиболее высокая точность классификации моторных паттернов при помощи ИНС достигается при рассмотрении сигналов ЭЭГ в лобной и височных долях, при этом наиболее информативным является частотный диапазон 1-12 Гц. С использованием ИНС выявлены уникальные особенности и общие черты для ЭЭГ-данных, регистрируемых при управлении движениями рук и ног. Показано, что ИНС эффективно (средняя точность 95%) детектирует различия между данными паттернами при включении в рассмотрение высокочастотной (>30 Гц) составляющей сигналов ЭЭГ. В случае, когда учитывается низкочастотная составляющая (<4 Гц), средняя точность классификации уменьшается до 70%. Реализована интеллектуальная система управления антропоморфным роботом на основании коррелированных процессов активности головного мозга и мышечной активности. Для детектирования моторных паттернов на ЭЭГ и их сопоставления с характерными паттернами ЭМГ была использована рекуррентная ИНС. Средняя точность распознавания моторных команд составила 90%. 8-10 октября 2018 года в СГТУ имени Гагарина Ю.А. состоялась II Международная школа молодых ученых «Динамика сложных сетей и их применение в интеллектуальной робототехнике» (DCNAIR 2018) (http://www.sstu.ru/nauka/konferentsii/dcnair-2018-ru.html). Школа-конференция стала международной площадкой для обучения и обмена образовательными, научными и техническими идеями между специалистами, в особенности – молодыми учеными и студентами, работающими в области изучения сложных сетей и интеллектуальной робототехники. DCNAIR 2018 способствовала активному научному взаимодействию, как на российском, так и на международном уровне (http://www.sstu.ru/news/v-sgtu-proshla-shkola-konferentsiya-po-intellektualnoy-robototekhnike.html).

 

Публикации

1. Андреев А.В., Руннова А.Е., Писарчик А.Н. Numerical simulation of coherent resonance in a model network of Rulkov neurons Proc. SPIE, V.10717, No. 107172E, P. 1-6 (год публикации - 2018) https://doi.org/10.1117/12.2315092

2. Куркин С., Пицик Е., Мусатов В., Руннова А., Храмов А. Artificial Neural Networks as a Tool for Recognition of Movements by Electroencephalograms In Proceedings of the 15th International Conference on Informatics in Control, Automation and Robotics (ICINCO 2018), Vol. 1, P. 166-171 (год публикации - 2018) https://doi.org/10.5220/0006860201660171

3. Макаров В.В., Kundu S., Кирсанов Д.В., Фролов Н.С., Максименко В.А., Гош Д., Дана С.К., Храмов А.Е. Multiscale interaction promotes chimera states in complex networks Communications in Nonlinear Science and Numerical Simulation, Vol. 71, P. 118–129 (год публикации - 2019) https://doi.org/10.1016/j.cnsns.2018.11.015

4. Макаров В.В., Журавлев М.О., Руннова А.Е., Протасов П., Максименко В.А., Фролов Н.С., Писарчик А.Н., Храмов А.Е. Betweenness centrality in multiplex brain network during mental task evaluation Physical Review E, - (год публикации - 2018)

5. Макаров В.В., Кирсанов Д., Горемыко М., Андреев А., Храмов А.Е. Nonlinear dynamics of the complex multi-scale network Proc. SPIE, V. 10717, No. 1071729, P. 1-7 (год публикации - 2018) https://doi.org/10.1117/12.2315095

6. Макаров В.В., Кирсанов Д.С., Фролов Н.С., Максименко В.А., Li X., Wang Z., Храмов А.Е., Боккалетти С. Assortative mixing in spatially extended networks Scientific Reports, V. 8, No. 13825, P. 1-8 (год публикации - 2018) https://doi.org/10.1038/s41598-018-32160-4

7. Максименко В., Руннова А., Пчелинцева С., Ефремова Т., Журавлев М., Писарчик А. Analysis of the features of untrained human movements based on the multichannel EEG for controlling anthropomorphic robotic arm Proc. SPIE, Vol. 10717, No. 107171L, P. 1-7 (год публикации - 2018) https://doi.org/10.1117/12.2314686

8. Максименко В.А., Куркин С.А., Пицик Е.Н., Мусатов В.Ю., Руннова А.Е,, Ефремова Т.Ю., Храмов А.Е,, Писарчик А.Н. Artificial Neural Network Classification of Motor-Related EEG: An Increase in Classification Accuracy by Reducing Signal Complexity Complexity, V. 2018, No. 9385947, P. 1-10 (год публикации - 2018) https://doi.org/10.1155/2018/9385947

9. Максименко В.А., Павлов А., Руннова А.Е., Недайвозов В., Грубов В,, Короновский А., Пчелинцева С.В., Пицик Е., Писарчик А.Н., Храмов А.Е. Nonlinear analysis of brain activity, associated with motor action and motor imaginary in untrained subjects Nonlinear Dynamics, V. 91, Issue 4, P. 2803–2817 (год публикации - 2018) https://doi.org/10.1007/s11071-018-4047-y

10. Максименко В.А., Руннова А,Е., Фролов Н.С., Макаров В.В., Недайвозов В., Короновский А.А., Писарчик А., Храмов А.Е. Multiscale neural connectivity during human sensory processing in the brain Physical Review E, V. 97, Issue 5, No. 052405 (год публикации - 2018) https://doi.org/10.1103/PhysRevE.97.052405

11. Максименко В.А., Храмов А.Е., Грубов В.В., Недайвозов В.О., Макаров В.В., Писарчик А.Н. Nonlinear effect of biological feedback on brain attentional state Nonlinear Dynamics, P. 1-17 (год публикации - 2018) https://doi.org/10.1007/s11071-018-4668-1

12. Павлов А.Н., Руннова А.Е., Максименко В.А., Гришина Д.С., Храмов А.Е. Detection of EEG-patterns associated with real and imaginary movements using detrended fluctuation analysis Proc. SPIE, V.10493, No. 1049315, P. 1-5 (год публикации - 2018) https://doi.org/10.1117/12.2291878

13. Павлов А.Н., Руннова А.Е., Максименко В.А., Павлова О.Н., Гришина Д.С., Храмов А.Е. Распознавание движений руки по сигналам электроэнцефалограммы на основе флуктуационного анализа Письма в ЖТФ, 2019, том 45, вып. 4 (год публикации - 2019) https://doi.org/10.21883/0000000000

14. Павлов А.Н., Руннова А.Е., Максименко В.А., Павлова О.Н., Гришина Д.С., Храмов А.Е. Detrended fluctuation analysis of EEG patterns associated with real and imaginary arm movements Physica A, V. 509, P. 777-782 (год публикации - 2018) https://doi.org/10.1016/j.physa.2018.06.096

15. Писарчик А.Н., Huerta-Cuellar G., Kulp C.W. Statistical analysis of symbolic dynamics in weakly coupled chaotic oscillators Communications in Nonlinear Science and Numerical Simulation, V. 62, P. 134-145 (год публикации - 2018) https://doi.org/10.1016/j.cnsns.2018.02.025

16. Пицик Е.Н., Макаров В.В., Кирсанов Д.В., Фролов Н.С., Горемыко М., Li X., Wang Z., Храмов А.Е., Боккалетти С. Inter-layer competition in adaptive multiplex network New Journal of Physics, V. 20, No. 075004, P. 1-9 (год публикации - 2018) https://doi.org/10.1088/1367-2630/aad00d

17. Пицик Е.Н., Макаров В.В., Недайвозов В.О., Кирсанов Д.В., Горемыко М.В. Self-organization in multilayer network with adaptation mechanisms based on competition Proc. SPIE, V.10717, No.107172B, P. 1-6 (год публикации - 2018) https://doi.org/10.1117/12.2315120

18. Пономаренко В.И., Кульминский Д.Д., Прохоров М.Д. An Experimental Study of Synchronization of Nonidentical Neuronlike Oscillators with an Adaptive Delayed Coupling Technical Physics Letters, Vol. 44, Iss. 9, P. 761-764 (год публикации - 2018) https://doi.org/10.1134/S1063785018090109

19. Фролов Н.С., Максименко В.А., Макаров В.В., Кирсанов Д.В., Храмов А.Е., Куртс Ю. Macroscopic chimeralike behavior in a multiplex network Physical Review E, Vol. 98, Iss. 2, No. 022320 (год публикации - 2018) https://doi.org/10.1103/PhysRevE.98.022320

20. Фролов Н.С., Писарчик А.Н. Diagnostics of the Brain Neural-Ensemble States Using MEG Records and Artificial Neural-Network Concepts Technical Physics Letters, Vol. 44, No. 5, pp. 441–444 (год публикации - 2018) https://doi.org/10.1134/S1063785018050176

21. Храмов А.Е., Сельский А.О., Егоров И.В. Nonlinear correlation method for the separation of couplings in EEG experiments with neural ensembles Proc. SPIE, Vol. 10493, No. 104931C, P. 1-6 (год публикации - 2018) https://doi.org/10.1117/12.2291669

22. Храмов А.Е., Фролов Н.С., Максименко В.А., Макаров В.В., Короновский А.А., Garcia-Prieto J., Anton-Toro L.F., Maestu F., Писарчик А.Н. Artificial neural network detects human uncertainty Chaos, V. 28, Issue 3, No. 033607 (год публикации - 2018) https://doi.org/10.1063/1.5002892

23. Кирсанов Д.В., Макаров В.В., Храмов А.Е. Программа для моделирования динамики многомасштабной сети -, 2018613337 (год публикации - )

24. Максименко В.А., Руннова А.Е., Куркин С.А., Храмов А.Е. Способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора -, - (год публикации - )

25. Недайвозов В.О., Руннова А.Е., Храмов А.Е. Интерфейс для распознавания и визуализации воображаемых движений рукой -, 2018612855 (год публикации - )

26. Руннова А.Е., Андреев А.В., Журавлев М.О. Программа ЭВМ обеспечения сложного дизайна нейрофизиологического эксперимента в области исследования двигательной активности различных типов при синхронной электроэнцефалографической регистрации у человека -, 2018612999 (год публикации - )

27. Фролов Н.С., Максименко В.А., Храмов А.Е. Программный модуль для поиска и классификации состояний головного мозга в процессе принятия решения -, 2018662581 (год публикации - )

28. Фролов Н.С., Максименко В.А., Храмов А.Е., Писарчик А.Н. Способ идентификации состояния сомнений человека по данным активности головного мозга -, - (год публикации - )

29. - РАЗМИНКА ДЛЯ УМА. ОТ "ИГРЫ В БИСЕР" - К РЕАЛЬНЫМ ПРОБЛЕМАМ РОБОТОТЕХНИКИ И НЕЙРОТЕХНОЛОГИЙ газета "Поиск", № 16(2018) (год публикации - )

30. - Российские биологи выяснили, как мозг управляет фантомными конечностями РИА НАУКА, - (год публикации - )

31. - С помощью электроэнцефалограммы сравнили реальное и воображаемое движение человека Индикатор, - (год публикации - )

32. - Ученые смогли отличить реальные и воображаемые движения человека Газета.ру, - (год публикации - )


Аннотация результатов, полученных в 2019 году
Предложена и реализована нейронная сеть на базе модельных нейронов Ходжкина-Хаксли, демонстрирующая поведение, соответствующее поведению мозга человека при принятии решений в условиях, характеризующихся недостатком или неоднозначностью информации. Механизм работы предложенной нейронная сети основан на формировании химероподобного состояния, когда одна часть нейронов находится в активном состоянии и генерирует спайки, в то время как вторая часть неактивна. Показана возможность управления данным состоянием с помощью внешних стимулов в виде импульсов, что позволяет использовать подобную систему для классификации различных неоднозначных состояний. В процессе анализа работы сети показано, что при низкой степени неоднозначности нейронная сеть однозначно принимает решения. При повышении неоднозначности она начинает «сомневаться», но с большей вероятностью принимает решение в сторону более вероятного решения. При максимальной неоднозначности конкуренция между выходными нейронами с равной вероятностью может привести к активации каждого из них под конец предъявления неоднозначного стимула. Обнаружена роль влияния внутреннего шума в сети кодирования сенсорной информации на процесс принятия решения: с одной стороны, наличие шума расширяет границы области неоднозначности принятия решения, но с другой – ускоряет процесс принятия решения в случае однозначно-интерпретируемой сенсорной информации. Таким образом, эффекты стохастического и когерентного резонанса при добавлении шума к исходному сенсорному сигналу могут иметь положительный эффект на процесс принятия решения в искусственной интеллектуальной системе. На основании результатов экспериментальных исследований выдвинуто предположение о том, что поиск решения задачи классификации неоднозначной информации может приводить к повышению размерности пространства признаков. С точки зрения интеллектуальной системы это требует многослойной свёртки входного информационного сигнала для извлечения нескольких уровней признаков. Построена математическая модель, основанная на взаимодействии между двумя сетями нейроноподобных элементов Ходжкина-Хаксли, описывающая процесс восприятия и обработки сенсорной информации и принятия решения на основе анализа экспериментальных данных электрической активности головного мозга с использованием методов теории сетей. Одна сеть осуществляет предобработку и кодирование входящей сенсорной информации в последовательность нейронных спайков, другая участвует в обработке данного сигнала. Показано, что при изменении контраста изображения наблюдается изменение степени скоррелированности регистрируемых сигналов активности головного мозга. Наибольшая скоррелированность достигается в диапазоне контраста изображения 0.4-0.7. Анализ функциональных связей по экспериментальным данным электрической активности головного мозга показал, что для данного диапазона контрастов характерно формирование распределенной сетевой структуры функциональных связей, вовлекающих нейронные популяции префронтальной и теменной областей коры мозга. Подобное локальное увеличение скоррелированности активности нейронов достигается за счет влияния внутреннего шума и возможно только при определенных значениях его интенсивности (эффект когерентного резонанса). Предложен оригинальный подход для экспериментального исследования ансамбля нейроподобных осцилляторов, при котором в радиотехнической установке реализована возможность задания как постоянной, так и адаптивной связи между генераторами, причем эта связь может быть произвольного вида, а изменение связей внутри ансамбля происходит в реальном времени. На примере системы двух взаимно связанных неидентичных осцилляторов и кольца, состоящего из 10 неидентичных осцилляторов ФитцХью-Нагумо, показано, что введение адаптивной запаздывающей связи может обеспечить синфазную синхронизацию осцилляторов даже в случае большой расстройки их параметров и в случаях, когда постоянная связь не может обеспечить синфазную синхронизацию всех неидентичных элементов ансамбля даже при больших значениях коэффициентов связи. Полученные в эксперименте результаты хорошо согласуются с результатами проведенных численных исследований. Показано, что адаптивная связь осцилляторов является перспективной при разработке центральных генераторов ритма, отвечающих за управление движением. Для реализации различных видов походки робота и переключения между ними требуется обеспечить различные виды синхронизации осцилляторов ансамбля, отличающиеся величиной фазового сдвига их колебаний. Предложена модель центрального генератора ритмов (ЦГР) в виде автогенератора с мягким возбуждением, который моделируется уравнением Ван-дер-Поля и имеет два дополнительных колебательных контура, связанных с контуром генератора через емкостную связь. Показано, что данная модель является перспективной для генерации походки антропоморфного робота с возможностью переключения режима походки. В результате проведенного детального бифуркационного анализа установлено, что подача внешнего гармонического воздействия на разрабатываемую систему центрального генератора ритмов в режиме сосуществования двух колебательных режимов с различным соотношением фаз позволяет реализовать переключения между предельными циклами, существующими в фазовом пространстве системы. Обнаруженная структура пространства параметров внешнего воздействия позволяет осуществлять переключения между колебательными режимами в мультистабильной системе путём подачи на нее внешнего гармонического воздействия и управления его параметрами. На созданном экспериментальном макете удалось воспроизвести в радиофизическом эксперименте структуру плоскости параметров математической модели ЦГР. Также в ходе эксперимента установлено, что переключение колебательных режимов наблюдается в системе даже при соотношении сигнал/шум, равном 0 дБ. Предложена модель ЦГР, реализующая переключения между четырьмя типами локомоторного движения, основанная на ансамбле гетерогенных осцилляторов. В качестве активного осциллятора был выбран автогенератор, моделируемый уравнением Ван-дер-Поля, а другими элементами ансамбля являлись три линейных диссипативных осциллятора, выполненные на базе индуктивности и конденсатора. Элементы ансамбля были связаны в цепочку через конденсаторы одного номинала. Соотношение фаз между колебаниями активного и трех пассивных осцилляторов соответствует соотношению между углами поворота конечностей робота в «тазобедренном», «коленном» и «голеностопном» суставах. Изменение величины отстройки частоты автогенератора от частоты двух других элементов гетерогенного ансамбля приводит к жесткому переключению между четырьмя колебательными режимами. Исследованные режимы являются устойчивыми и грубыми к вариациям других параметров, и могут использоваться для генерации различных типов локомоторного движения. Также предложена новая модель генератора примитивов ходьбы, основанная на применении виртуальных голономных связей с использованием генератора движения, не являющегося явной функцией от обобщенных координат. Показан способ стабилизации движения, основанный на сведении системы на нулевое подмногообразие за счет обратной связи по невязке виртуальных связей и их скоростей. Была создана и структурирована база данных сигналов нейронной и мышечной активности человека, соответствующих выполнению человеком моторных команд (как реальных, так и воображаемых). База данных содержит исходные сигналы ЭМГ, ЭЭГ, а также посчитанные для них частотно-временные характеристики, сигналы ЭЭГ и ЭМГ, отфильтрованные с использованием полосового фильтра Баттерворта 5-го порядка в диапазонах 1-100 Гц и 10-100 Гц, а также ЭЭГ-отрезки, отфильтрованные в диапазонах мю- и бета- ритма, наиболее информативных при анализе электрической активности головного мозга, соответствующей реальным и воображаемым движениям. Помимо этого база данных содержит частотно-временные характеристики каждого отрезка ЭЭГ, такие как вейвлетные поверхности ЭЭГ-сигналов и усреднённые вейвлетные энергии мю- и бета-ритма. Разработана система управления двуногим шагающим роботом без использования копирующего экзоскелета при помощи анализа нейронной активности оператора разработанными в рамках проекта методами количественного анализа рекуррентных диаграмм. Сигналы, снимаемые с помощью электроэнцефалографа с оператора в процессе выполнения им движений, вначале проходят предварительную обработку для уменьшения шумов и удаления артефактов. Затем они подаются на вход классификатора, который определяет вид совершенного движения (движение левой/правой рукой/ногой). На основании полученной информации формируется управляющая команда для шагающего робота. В качестве критерия для классификации использовалась временная зависимость меры детерминизма (determinism, DET), обладающая ярко выраженным свойством контралатеральности. Взаимодействие между блоками серверной части интерфейса управления роботом реализовано при помощи очереди исполнения, в которую помещаются команды на исполнение. Была создана интеллектуальная система, обученная с использованием миограмм и электроэнцефалограмм, обеспечивающая автоматическое поддержание равновесия шагающего робота при изменяющимся во времени наклоне поверхности. На первом этапе были проведены эксперименты по регистрации нейронной и мышечной активности человека при поддержании равновесия на баланс-платформе. Показано, что при поддержании равновесия на баланс-платформе наблюдается изменение распределения значений угла отклонения баланс-платформы от положения равновесия в каждой из трех экспериментальных сессий. В последней сессии максимум распределения смещается в область малых отклонений, что свидетельствует о возрастании времени нахождения платформы в равновесии. Это свидетельствует об адаптации человека к изменяющимся условиям. Были проведены исследования с антропоморфным шагающим роботом. Следует отметить, что при определенных параметрах эксперимента поведение робота в среде математического моделирования достаточно близко к поведению человека в натурных экспериментах с баланс-платформой. Было показано, что введение обратной связи по положению центра масс недостаточно для получения характера движения робота, близкого к наблюдаемому в экспериментах с испытуемыми, при этом введение дополнительного канала обратной связи по ориентации баланс-платформы позволило получить результаты, качественно сходные с экспериментальными данными. 9-11 сентября 2019 года в Университете Иннополис состоялась III Международная школа молодых ученых «Динамика сложных сетей и их применение в интеллектуальной робототехнике» - «Dynamics of Complex Networks and their Application in Intellectual Robotics» (DCNAIR 2019), в которой приняло участие 5 российских и 8 зарубежных ученых-лекторов, а также 82 слушателя – российских молодых ученых в возрасте до 35 лет включительно (https://lomonosov-msu.ru/rus/event/5553/). Избранные материалы DCNAIR 2019 размещены в IEEE Explore и проиндексированы в Scopus и Web of Science.

 

Публикации

1. Chholak P., Niso G., Максименко В.А., Куркин С.А., Фролов Н.С., Пицик Е.Н., Храмов А.Е., Писарчик А.Н. Visual and kinesthetic modes affect motor imagery classification in untrained subjects Scientific Reports, V. 9, No. 9838 (год публикации - 2019) https://doi.org/10.1038/s41598-019-46310-9

2. Андреев А.В., Пицик Е.Н., Макаров В.В., Писарчик А.Н., Храмов А.Е. Dynamics of map-based neuronal network with modified spike-timing-dependent plasticity The European Physical Journal Special Topics, V. 227, I. 10-11, P. 1029–1038 (год публикации - 2018) https://doi.org/10.1140/epjst/e2018-800036-5

3. Андреев А.В., Фролов Н.С., Писарчик А.Н., Храмов А.Е. Chimera state in complex networks of bistable Hodgkin-Huxley neurons Physical Review E, V. 100, No. 022224 (год публикации - 2019) https://doi.org/10.1103/PhysRevE.100.022224

4. Гришина Д.С., Павлов А.Н., Павлова О.Н., Руннова А.Е. Use of Wavelets for Recognizing Types of Motion by Means of Data on the Electrical Activity of the Brain Technical Physics Letters, V. 45, I. 8, P. 820-822 (год публикации - 2019) https://doi.org/10.1134/S1063785019080224

5. Кульминский Д.Д., Пономаренко В.И., Прохоров М.Д., Храмов А.Е. Synchronization in ensembles of delay-coupled nonidentical neuronlike oscillators Nonlinear Dynamics, V. 98, N. 1, P. 735-748 (год публикации - 2019) https://doi.org/10.1007/s11071-019-05224-x

6. Павлов А.Н., Гришина Д.С., Руннова А.Е., Максименко В.А., Павлова О.Н., Щуковский Н.В., Храмов А.Е., Курц Ю. Recognition of electroencephalographic patterns related to human movements or mental intentions with multiresolution analysis Chaos, Solitons & Fractals, V. 126, P. 230-235 (год публикации - 2019) https://doi.org/10.1016/j.chaos.2019.06.016

7. Писарчик А.Н., Chholak P., Храмов А.Е. Brain noise estimation from MEG response to flickering visual stimulation Chaos, Solitons & Fractals: X, V. 1, N. 100005 (год публикации - 2019) https://doi.org/10.1016/j.csfx.2019.100005

8. Писарчик А.Н., Максименко В.А., Андреев А.В., Фролов Н.С., Макаров В.В., Журавлёв М.О., Руннова А.Е., Храмов А.Е. Coherent resonance in the distributed cortical network during sensory information processing Scientific reports, V. 9, N. 18325 (год публикации - 2019) https://doi.org/10.1038/s41598-019-54577-1

9. Фролов Н., Максименко В., Лютйоханн А., Короновский А., Храмов А. Feed-forward artificial neural network provides data-driven inference of functional connectivity Chaos, V. 29, N. 091101 (год публикации - 2019) https://doi.org/10.1063/1.5117263

10. Фролов Н.С., Максименко В.А., Храмова М.В., Писарчик А.Н., Храмов А.Е. Dynamics of functional connectivity in multilayer cortical brain network during sensory information processing The European Physical Journal Special Topics, V. 228, I. 11, P. 2381–2389 (год публикации - 2019) https://doi.org/10.1140/epjst/e2019-900077-7

11. Фролов Н.С., Храмов А.Е. From theory to experimental evidence: Comment on “Chimera states in neuronal networks: A review” by S. Majhi, B.K. Bera, D. Ghosh and M. Perc. Physics of Life Reviews, V. 28, P. 125-127 (год публикации - 2019) https://doi.org/10.1016/j.plrev.2019.02.006

12. Хорев В., Максименко В., Куркин С., Бадарин А., Антипов В. EEG activity during balance platform test in humans Cybernetics and Physics, V. 8, N. 3. P. 132-136 (год публикации - 2019)

13. Хорев В.С., Максименко В.А., Пицик Е.Н., Руннова А.Е., Куркин С.А., Храмов А.Е. Анализ двигательной активности с использованием сигналов электромиограмм Информационно-управляющие системы, № 3б с. 114-120 (год публикации - 2019) https://doi.org/10.31799/1684-8853-2019-3-114-120

14. Храмов А.Е., Максименко В.А., Короновский А., Руннова А.Е., Журавлёв М., Писарчик А.Н., Курц Ю. Percept-related EEG classification using machine learning approach and features of functional brain connectivity Chaos, V. 29, N. 093110 (год публикации - 2019) https://doi.org/10.1063/1.5113844

15. Андреев А.В., Писарчик А.Н. Mathematical simulation of coherent resonance phenomenon in a network of Hodgkin-Huxley biological neurons Proceedings SPIE, V. 11067, N. 1106708 (год публикации - 2019) https://doi.org/10.1117/12.2527709

16. Кирсанов Д.В. Emergence of macroscopic chimera states in multilayer multiplex network Proceedings SPIE, V. 11067, N. 110670R (год публикации - 2019) https://doi.org/10.1117/12.2527692

17. Куркин С., Хорев В., Пицик Е., Максименко В., Храмов А. The Approach to the Detection of the Movement Precursor by Electromyographic Signals In Proceedings of the 16th International Conference on Informatics in Control, Automation and Robotics, V. 1, P. 276-280 (год публикации - 2019) https://doi.org/10.5220/0007916502760280

18. Куркин С.А., Пицик Е.Н., Фролов Н.С. Artificial intelligence systems for classifying EEG responses to imaginary and real movements of operators Proceedings SPIE, V. 11067, N. 1106709 (год публикации - 2019) https://doi.org/10.1117/12.2527730

19. Пицик Е. Recurrence plot structure of motor-related human EEG 2019 3rd School on Dynamics of Complex Networks and their Application in Intellectual Robotics (DCNAIR), P. 139-141 (год публикации - 2019) https://doi.org/10.1109/DCNAIR.2019.8875533

20. Пицик Е.Н., Макаров В., Боккалетти С. Pattern formation in spatially distributed networks via spatially correlated preferential attachment Proceedings SPIE, V. 11067, N. 110670U (год публикации - 2019) https://doi.org/10.1117/12.2527748

21. Фролов Н., Жуков В., Писарчик А. Multistability of macroscopic states in multilayer multiplex network 2018 2nd School on Dynamics of Complex Networks and their Application in Intellectual Robotics (DCNAIR), Saratov, P. 35-37 (год публикации - 2018) https://doi.org/10.1109/DCNAIR.2018.8589199

22. Фролов Н.С., Храмов А.Е. Multilayer perceptron reveals functional connectivity structrure in thalamo-cortical brain network 2019 3rd School on Dynamics of Complex Networks and their Application in Intellectual Robotics (DCNAIR), p. 53-54 (год публикации - 2019) https://doi.org/10.1109/DCNAIR.2019.8875539

23. Хорев В., Боровкова Е., Руннова А., Журавлёв М., Ефремова Т., Караваев А. Detection of Couplings Between the EEG Signals During the Limb Movements 2018 2nd School on Dynamics of Complex Networks and their Application in Intellectual Robotics (DCNAIR), Saratov, p. 66-68 (год публикации - 2018) https://doi.org/10.1109/DCNAIR.2018.8589057

24. Храмов А., Пицик Е., Chholak P., Максименко В., Фролов Н., Куркин С., Писарчик А. A MEG Study of Different Motor Imagery Modes in Untrained Subjects for BCI Applications In Proceedings of the 16th International Conference on Informatics in Control, Automation and Robotics, V. 1, P. 188-195 (год публикации - 2019) https://doi.org/10.5220/0007810001880195

25. Храмов А.Е., Писарчик А.Н. Kinesthetic and visual modes of imaginary movement: MEG studies for BCI development 2019 3rd School on Dynamics of Complex Networks and their Application in Intellectual Robotics, DCNAIR 2019, N. 8875521, P. 66-68 (год публикации - 2019) https://doi.org/10.1109/DCNAIR.2019.8875521

26. Андреев А.А., Храмов А.Е. Программа для ЭВМ моделирования химерного состояния в сети связанных нейронов Ходжкина-Хаксли -, № 2019660993 (год публикации - )

27. Андреев А.А., Храмов А.Е. Программа для ЭВМ моделирования классификатора на основе формирования химерного состояния в сети связанных нейронов Ходжкина-Хаксли -, № 2019660992 (год публикации - )

28. Бадарин А.А., Руннова А.Е., Караваев А.С., Журавлёв М.О., Астахов С.В., Храмов А.Е. Устройство для определения в режиме реального времени степени концентрации внимания оператора при восприятии и обработке информации -, Патент на изобретение № 2704562 (год публикации - )

29. Максименко В.А, Руннова А.Е., Куркин С.А., Храмов А.Е. Способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора -, Патент на изобретение № 2682492 (год публикации - )

30. Пицик Е.Н., Фролов Н.С. Программа для вычисления мер количественного анализа рекуррентных диаграм вейвлетной энергии мю-ритма многоканальных ЭЭГ-сигналов, соответствующих реальным движениям руки -, № 2019661002 (год публикации - )

31. Фролов Н.С., Максименко В.А., Храмов А.Е. Выделение функциональных связей данных головного мозга с использованием вейвлетного преобразования и рекуррентного анализа временных рядов -, № 2019661069 (год публикации - )

32. Фролов Н.С., Максименко В.А., Храмов А.Е., Писарчик А.Н. Способ идентификации состояния сомнений человека по данным активности головного мозга -, Патент на изобретение № 2688320 (год публикации - )

33. Хорев В.С., Куркин С.А., Храмов А.Е Программа по распознаванию начала движения по миографическим данным -, № 2019661004 (год публикации - )

34. - Люди по-разному представляют, как движется их тело, подтвердили ученые Газета "Поиск", - (год публикации - )

35. - Люди представляют движения собственного тела по-разному Indicator, - (год публикации - )

36. - Люди по-разному представляют, как движется их тело Газета Коммерсантъ, - (год публикации - )

37. - Ученые: люди по-разному представляют, как движется их тело Газета.ru, - (год публикации - )


Аннотация результатов, полученных в 2020 году
Была реализована нейронная сеть, основанная на модели биологических нейронов Ходжкина-Хаксли, способная обрабатывать и классифицировать получаемую со входов сенсорную информацию, принимая при этом решение о типе входного стимула. Механизм работы предложенной нейронная сети основан на формировании химероподобного состояния, когда одна часть нейронов находится в активном состоянии и генерирует спайки, в то время как вторая часть неактивна. Разработанная сеть состоит из 100 нейронов Ходжкина-Хаксли, связанных между собой в соответствие с безмасштабной топологией, и двух выходных нейронов. В начальный момент времени основная сеть не связана с выходным слоем. В процессе обучения данные связи меняются во времени в зависимости от входного сигнала для того, чтобы каждый из выходных нейронов активировался при определенной амплитуде входного сигнала, а второй при этом оставался в состоянии покоя. Выходные нейроны связаны между собой подавляющей связью. Реализованная сеть способна определять тип входного импульса с близкой к 100% точности в широком диапазоне значений амплитуды внешнего импульса тока. Вблизи порогового значения импульса, которое соответствует среднему значению амплитуд, для которых проводилось обучение, происходит активация обоих выходных нейронов в равной степени, что соответствует неоднозначности в определении типа предъявляемого стимула и находится в соответствии с известными результатами экспериментального исследования восприятия бистабильных изображений. Создана экспериментальная радиофизическая модель центрального генератора ритмов (ЦГР), предложенного на предыдущем этапе выполнения проекта. Построенный радиофизический прототип состоит из активного осциллятора Ван дер Поля, который связан с цепочкой из трех линейных диссипативных осцилляторов. Построены карты колебательных режимов созданного ЦГР на экспериментальных плоскостях управляющих параметров. Продемонстрирована возможность управления переключением динамических режимов ЦГР, отвечающих за различные типы локомоторной активности. Экспериментально показано, что при изменении величины отстройки частоты радиофизического автогенератора от частоты трех пассивных элементов гетерогенного ансамбля происходят жесткие переключения между колебательными режимами. Изменяя соотношения между фазами колебаний элементов ансамбля, можно осуществлять управление походкой робота за счет изменения значений сдвига между углами поворота конечностей робота в «тазобедренном», «коленном» и «голеностопном» суставах. Предложенная схема ЦГР продемонстрировала свою эффективность в эксперименте с моделью двуногого робота для решения задачи генерации ритма, обеспечивающего режимы ходьбы/бега. Экспериментально показано, что построенная радиофизическая модель ЦГР демонстрирует устойчивость к высоким уровням шума. Установлено, что переключение колебательных режимов в исследованном гетерогенном ансамбле наблюдается даже при соотношении сигнал/шум, равном -6 дБ, что свидетельствует об устойчивости предложенного ЦГР к шумам и перспективности её использования в задачах управления антропоморфными роботами. Были выявлены характерные особенности нейронной активности коры мозга и траектории взгляда в процессе сбора однозначной и неоднозначной сенсорной визуальной информации, необходимой для принятия решения. Было показано, что при неоднозначности сенсорных данных наблюдается увеличение энергии нейронной активности в тета- и в бета-диапазонах в первые 0.2 с после предъявления зрительного стимула. Первое свидетельствует о том, что испытуемые полагались на внутренние представления (память и контекстное мышление), в то время как увеличение энергии в бета-диапазоне характеризует активацию механизма обработки неоднозначности и выявления релевантных сенсорных данных, необходимых для принятия решения. Анализ траектории движения глаз с использованием айтрекера показал, что каждая ориентация куба имеет свой характерный паттерн. Степень неоднозначности также оказывает влияние на траекторию взгляда. Так, в случае сильно неоднозначного стимула для принятия решения испытуемому требуется больше сенсорной информации, что влечет за собой частые переключения точек наблюдений. Предложен подход для синтеза нейро-нечетких регуляторов с использованием модифицированного генетического алгоритма и адаптивной нейро-нечёткой системы вывода. Указанный подход применен к построению оптимальных в смысле Парето управлений движениями манипулятора в среде со статическими ограничениями. Предполагается, что манипулятор также имеет ограничения подвижности в сочленениях, что, в свою очередь, накладывает ограничения на возможные движения. Были синтезированы субоптимальные регуляторы минимизирующие как максимально возможные отклонения от желаемой траектории движения, так и максимально возможные управляющие моменты, создаваемые в сочленениях (суставах) манипулятора. Корректность работы построенных регуляторов была проверена на модели, и проведено сравнение с регуляторами, построенными классическим способом с использованием аппарата полуопределённого программирования для системы, полученной линеаризацией исходной вдоль желаемой траектории движения. Исследована пространственно-временная структура изменения уровня сложности сигнала электрической активности головного мозга человека в диапазоне мю-ритма (8-14 Гц) с помощью рекуррентного анализа во время выполнения моторной функции. Было показано, что выполнение движений кистью рук ассоциировано со статистически значимым увеличением регулярности сигнала, локализованным в области моторной коры мозга с доминирующей ролью контралатерального полушария. Была сформулирована гипотеза о том, что увеличение регулярности сигнала ЭЭГ может быть интерпретировано с позиций адаптации динамики локальных нейронных популяций моторной коры к выполнению двигательной задачи под действием механизма нейронной пластичности. Как следствие, было показано, что регулярность колебаний между выполнениями заданий, т.е. на престимульных интервалах, демонстрирует статистически значимый рост в ходе эксперимента. Это может свидетельствовать о здоровых механизмах тренировки моторных функций головного мозга и адаптации нейронных ансамблей для более оптимальной активации при последовательно повторяемых движениях. Предложен метод оценки сложности и долговременных корреляций в сигналах ЭЭГ, связанных с выполнением движений, на основе флуктуационного анализа временных рядов. Было показано, что движение недоминирующей (левой) рукой определяет относительно слабые изменения дальних корреляций сигналов ЭЭГ, по сравнению с доминирующей (правой) рукой. Разработана система управления двуногим шагающим роботом в онлайн-режиме без использования копирующего экзоскелета при помощи анализа нейронной активности оператора разработанными в рамках проекта методами количественного анализа рекуррентных диаграмм. Классификатор ЭЭГ-сигналов, связанных с выполнением движений руками и ногами, основан на количественном анализе рекуррентных диаграмм. В качестве критерия для классификации использовалась временная зависимость меры детерминизма (DET), обладающая свойством контралатеральности. Основная идея классификатора заключается в том, что каждый тип движения характеризуется своим уникальным паттерном DET. Быстрая скорость классификации обеспечивается за счёт применения технологий параллельных вычислений и соответствующей оптимизации алгоритма. Сигналы нейронной активности мозга оператора в процессе выполнения им движений, вначале проходят предварительную обработку, а затем подаются на вход классификатора, который определяет вид совершенного движения (движение левой/правой рукой/ногой). На основании полученной информации формируется управляющая команда для шагающего робота. Показано наличие мышечного паттерна, возникающего во время тренировки человека при поддержании равновесия. Мышечный паттерн включает четыре мышечные пары: передняя большеберцовая мышца на правой ноге и трехглавая мышца голени на правой ноге, большеберцовая мышца на правой ноге и трехглавая мышца голени на левой ноге, большеберцовая мышца на правой ноге и четырёхглавая мышца бедра на правой ноге, трехглавая мышца голени на правой ноге и трехглавая мышца голени на левой ноге. Результаты статистического анализа поведенческих характеристик показывают значительное увеличение между сессиями 1 и 2 продолжительности самого длительного участка равновесия и общей длительности всех участков равновесия. Этот вывод подтверждается статистическим анализом мышечной активности, который демонстрирует, что значительное изменение коэффициентов корреляции между 4 парами мышц обнаруженного паттерна происходит только между экспериментальными сессиями 1 и 2. Выявлено, что количество задействованных мышц в паттерне активации является ограниченным. Показано, что паттерн активации мышц является асимметричным, что подтверждает способность системы управления позой использовать асимметричные паттерны для поддержания равновесия. Была построена математическая модель, основанная на механических принципах с учётом механизмов тренировки человека при поддержании равновесия, управление мышцами в которой осуществляется на основе нейронных контроллеров с обратной связью, включающей отклонение угла платформы, скорость, ускорение, смещение центра масс тела, афферентные нервные задержки и проприоцептивный фактор. Применение разработанной модели позволило выявить ограниченный набор паттернов корреляции между мышцами ног человека в процессе тренировки, в которых усиливается взаимодействие между мышцами при длительном выполнении сложных действий, связанных с поддержанием равновесия. Нейронная активность в сенсомоторной области коры головного мозга показывает значительные изменения в процессе поддержания баланса, сопровождающиеся общим снижением активности в каналах O1, O2, Oz, Pz, Cpz. В ходе многомерного дисперсионного анализа было выявлено, что значимые различия достигаются в диапазоне высоких частот 23.75-40 Гц в правой и левой теменных областях и в центральной фронтальной области. Следует отметить, что эта разница достигается в начале сессии (200–240 секунд), при этом энергия в данном кластере максимальна в первой сессии и уменьшается от сессии к сессии. 7-9 сентября 2020 года в Университете Иннополис состоялась IV Международная научная школа «Dynamics of Complex Networks and their Application in Intellectual Robotics» (DCNAIR’2020) (https://events.innopolis.university/dcnair2020), в которой приняло участие 6 российских и 9 зарубежных ученых-лекторов, а также 75 слушателей – российских и зарубежных молодых ученых в возрасте до 35 лет включительно. Избранные материалы DCNAIR 2020 размещены в библиотеке IEEE Explore и проиндексированы в Scopus.

 

Публикации

1. Андреев А.В., Иванченко М.В., Писарчик А.Н., Храмов А.Е. Stimulus classification using chimera-like states in a spiking neural network Chaos, Solitons and Fractals, V. 139, P. 110061 (год публикации - 2020) https://doi.org/10.1016/j.chaos.2020.110061

2. Андреев А.В., Максименко В.А., Писарчик А.Н., Храмов А.Е. Synchronization of interacted spiking neuronal networks with inhibitory coupling Chaos, Solitons and Fractals, - (год публикации - 2020)

3. Голоусов С., Савин С., Куркин С., Бадарин А., Хорев В., Храмов А., Климчик А. Humanoid robot solving a task of balancing on a tilting platform Cybernetics and Physics, V. 9, I. 1, Pp. 5-12. (год публикации - 2020) https://doi.org/10.35470/2226-4116-2019-8-4-282-286

4. Кульминский Д.Д., Куркин С.А., Пономаренко В.И., Прохоров М.Д., Астахов С.В., Храмов А.Е. Central pattern generator based on self-sustained oscillator coupled to a chain of oscillatory circuits Nonlinear Dynamics, - (год публикации - 2020)

5. Павлов А.Н., Пицик Е.Н., Фролов Н.С., Бадарин А., Павлова О.Н., Храмов А.Е. Age-Related Distinctions in EEG Signals during Execution of Motor Tasks Characterized in Terms of Long-Range Correlations Sensors, V. 20, No. 20, P. 5843 (год публикации - 2020) https://doi.org/10.3390/s20205843

6. Пицик Е., Фролов Н., Kraemer K.H., Грубов В., Максименко В., Kurths J., Храмов А. Motor execution reduces EEG signals complexity: Recurrence quantification analysis study Chaos: An Interdisciplinary Journal of Nonlinear Science, V. 30, I. 2, P. 023111 (год публикации - 2020) https://doi.org/10.1063/1.5136246

7. Пономаренко В.И., Кульминский Д.Д., Андреев А.В., Прохоров М.Д. Оценка амплитуды внешнего периодического воздействия при помощи малой спайковой нейронной сети в радиофизическом эксперименте Письма в Журнал технической физики, - (год публикации - 2021)

8. Хорев В.С., Бадарин А.А., Грубов В.В., Максименко В.А., Куркин С.А., Писарчик А.Н., Храмов А.Е. Emerging muscle correlation pattern during training-improved performance of a postural balancing task Nonlinear Dynamics, - (год публикации - 2020)

9. Храмов А.Е., Грубов В., Бадарин А., Максименко В.А., Писарчик А.Н. Functional Near-Infrared Spectroscopy for the Classification of Motor-Related Brain Activity on the Sensor-Level Sensors, V. 20, I. 8, P. 2362 (год публикации - 2020) https://doi.org/10.3390/s20082362

10. Храмов А. Е., Фролов Н. С., Максименко В. А., Куркин С. А., Казанцев В. Б., Писарчик А. Н. Функциональные сети головного мозга: от восстановления связей до динамической интеграции Успехи физических наук, - (год публикации - 2020) https://doi.org/10.3367/UFNr.2020.06.038807

11. Андреев А., Писарчик А. Classification of external signal by spiking neural network of bistable Hodgkin-Huxley neurons 4th Scientific School on Dynamics of Complex Networks and their Application in Intellectual Robotics, P. 31-33 (год публикации - 2020) https://doi.org/10.1109/DCNAIR50402.2020.9216925

12. Андреев А.В., Малова Н.А., Боровкова Е.И., Фролов Н.С. Interaction of bistable neurons leading to the complex network dynamics Proc. SPIE, V.11459, P. 114590V (год публикации - 2020) https://doi.org/10.1117/12.2563866

13. Андреев А.В., Фролов Н.С., Александрова Н.А., Чабан М.А. Control of dynamics of bistable neural network by an external pulse Proc. SPIE, V. 11459, P. 114590W (год публикации - 2020) https://doi.org/10.1117/12.2563872

14. Гришина Д.С., Куприяшкина Н.М., Павлова О.Н., Руннова А.Е., Павлов А.Н. Recognition of EEG patterns during mental intentions: a comparative study Proc. SPIE, V. 11459, P. 1145902 (год публикации - 2020) https://doi.org/10.1117/12.2559689

15. Куркин С., Храмов А., Chholak P., Писарчик А. Localizing oscillatory sources in a brain by MEG data during cognitive activity 2020 4th International Conference on Computational Intelligence and Networks (CINE), Pp. 1-4 (год публикации - 2020) https://doi.org/10.1109/CINE48825.2020.234403

16. Максименко В., Хорев В., Грубов В., Бадарин А., Храмов А.Е. Neural activity during maintaining a body balance Proc. SPIE, V. 11459, P. 1145903 (год публикации - 2020) https://doi.org/10.1117/12.2563533

17. Фролов Н.С., Макаров В.В. Inference of functional dependence in coupled chaotic systems using feed-forward neural network Proc. SPIE, V. 11459, P. 114590X (год публикации - 2020) https://doi.org/10.1117/12.2563980

18. Хорев В., Грубов В., Бадарин А., Куркин С. Dynamical analysis of the neural and equilibrium seeking movement activity 4th Scientific School on Dynamics of Complex Networks and their Application in Intellectual Robotics, Pp. 124-128 (год публикации - 2020) https://doi.org/10.1109/DCNAIR50402.2020.9216815

19. Хорев В.С., Пушкарская Д.Д., Пицик Е.Н., Куркин С.А. The technique for determining on EMG signals the precursors of start of limb movement Proc. SPIE, V. 11459, P. 114590I (год публикации - 2020) https://doi.org/10.1117/12.2563541

20. Пицик Е.Н., Фролов Н.С., Куркин С.А., Храмов А.Е. Способ классификации двигательной активности человека -, 2020127415 (год публикации - )

21. - IV Международная научная школа DCNAIR 2020 Группа РНФ ВКонтакте, - (год публикации - )

22. - IV Международная научная школа «Динамика сложных сетей и их применение в интеллектуальной робототехнике» (DCNAIR 2020) прошла в сентябре на базе Innopolis University в рамках проекта по гранту РНФ Группа РНФ в Facebook, - (год публикации - )


Возможность практического использования результатов
Научно-технические результаты проекта соответствуют направлению из Стратегии НТР РФ "Н1 Переход к передовым цифровым, интеллектуальным производственным технологиям, роботизированным системам, новым материалам и способам конструирования, создание систем обработки больших объемов данных, машинного обучения и искусственного интеллекта". В ходе выполнения проекта были разработаны, экспериментально верифицированы и планируются к внедрению усовершенствованные технологии адаптивного интеллектуального управления биоморфными и антропоморфными роботизированными системами на основе методов и подходов нейронауки и нелинейной динамики в условиях динамически меняющихся условий окружающей среды. Особый блок работ в рамках выполнения данного проекта касался исследования адаптации человеческого мозга при решении задач в условиях неопределенности и недостаточности сенсорной информации и использования обнаруженных механизмов в адаптивных интеллектуальных системах управления. Можно выделить следующие приоритетные направления практического использования результатов проекта в экономике за счет формирования научного задела и создания ноых технологий и продукции: 1. разработка интеллектуальных системы управления, учитывающих принципы обработки информации нервной системой человека; 2. разработка антропоморфных робототехнических систем, включая центральные генераторы ритма, задающие принципы движения подобных систем; 3. разработка систем управления экзоскелетными комплексами на основе расшифровки сигналов головного мозга и миографических сигналов; 4. разработка систем визуализации и технического зрения. Полученные результаты при проектировании самообучающихся интеллектуальных систем для управления антропоморфными робототехническими комплексами, спроектированные интеллектуальные системы, основанные на искусственных нейронных сетях и нелинейных динамических моделях, позволяющие осуществлять управление в условиях неопредленностей внешней среды, могут найти применение в производстве качественно новых и усовершенствованных мехатронных систем, способствующих решению задач в области обороны, народного хозяйства, образования и сферы услуг.